• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種使用一單鏡頭影像擷取裝置之立體成像方法，包含有：使用該單鏡頭影像擷取裝置以取得一第一平面影像；取得對應至該第一平面影像之一深度圖；依據該深度圖以及該第一平面影像以合成一視角合成影像；以及使用該單鏡頭影像擷取裝置以依據該視角合成影像來取得一第二平面影像，其中該第一平面影像以及該第二平面影像係用於立體影像顯示。
    公开号:TW201301861A
    申请号:TW100133155
    申请日:2011-09-15
    公开日:2013-01-01
    发明作者:Lin-Kai Bu；Chi-Chia Lin
    申请人:Himax Media Solutions Inc；
    IPC主号:H04N13-00
    专利说明:
    使用單鏡頭影像擷取裝置之立體成像方法以及基於用於立體影像顯示之第一、第二平面影像之立體影像增強方法與立體影像增強裝置
    本發明係有關於一立體成像方法，尤指一種使用一單鏡頭影像擷取裝置之一立體成像方法。
    立體成像已經成為視覺影像(visual imaging)工業的潮流。大多數之立體成像需要兩個影像擷取裝置，以分別作為一左眼以及一右眼，這意味著這兩個影像擷取裝置應當被放置於特定位置以取得影像，否則將使得立體視覺效果不夠生動逼真。換言之，傳統的立體成像裝置需要至少兩個鏡頭以適當地取得立體成像之素材，因而不可能藉由一單鏡頭影像擷取裝置來實現立體成像。
    除此之外，傳統的立體成像亦需要兩個影像擷取裝置以同時擷取影像。倘若兩個影像擷取裝置並非在同一時間運作，將可能導致所取得之兩個影像間缺乏一致性。舉例來說，當取得一掉落球體之影像時，如果一第一相機(其作為一左眼)於一第一時點擷取了一影像，而一第二相機(其作為一右眼)於稍後之一第二時點擷取了另一影像，則在兩個影像中的球體位置將不一致，如此一來，基於前述之兩個影像所生成之立體成像將會失真。
    因此，本發明提供了一個可使用一單鏡頭影像擷取裝置來實現立體成像之一立體成像方法；此外，本發明亦提供了一個不論平面影像是否同時產生皆可適用之基於平面影像的立體影像增強方法與立體影像增強裝置。
    在本發明之一第一實施例中，其係提供了一種使用一單鏡頭影像擷取裝置之立體成像方法，此立體成像方法包含有：使用該單鏡頭影像擷取裝置以取得一第一平面影像；取得對應至該第一平面影像之一深度圖；依據該深度圖以及該第一平面影像以合成一視角合成影像；以及使用該單鏡頭影像擷取裝置以依據該視角合成影像來取得一第二平面影像，其中該第一平面影像以及該第二平面影像係用於立體影像顯示。
    在本發明之一第二實施例中，其係提供了一種基於用於立體影像顯示之一第一平面影像以及一第二平面影像之立體影像增強方法，此立體影像增強方法包含有：偵測該第一平面影像與該第二平面影像間之一差異；以及依據所偵測到之該差異來修正該第一平面影像與該第二平面影像之其中一個平面影像。
    在本發明之一第三實施例，其係提供了一種基於用於立體影像顯示之一第一平面影像以及一第二平面影像之立體影像增強裝置，此立體影像增強裝置包含有：一偵測電路以及一修正電路。該偵測電路係用以偵測該第一平面影像與該第二平面影像間之一差異，而該修正電路係用以依據所偵測到之該差異來修正該第一平面影像與該第二平面影像之其中一個平面影像。
    請參閱第1圖，第1圖所示為根據本發明之一實施例而使用一單鏡頭影像擷取裝置(single-lens image-capture apparatus)之一立體成像方法的流程圖。請注意到，倘若實質上可達到相同的結果，並不一定需要遵照第1圖所示之流程中的步驟順序來依序進行，其他步驟亦可能插入其中。本流程包含有以下步驟：
    S101：使用一單鏡頭影像擷取裝置來擷取一第一平面影像；
    S103：將該第一平面影像設定為一右眼影像或一左眼影像；
    S105：取得對應至該第一平面影像之一深度圖，並依據該深度圖以及該第一平面影像來合成產生一視角合成影像(view synthesized image)；以及
    S107：使用該單鏡頭影像擷取裝置來依據該視角合成影像以取得一第二平面影像。
    請同時參照第1圖與第2圖。第2圖為本發明立體成像方法之一實施例之運作示意圖。在步驟S101中，一單鏡頭影像擷取裝置CAM被用以擷取一第一平面影像IMG1。接著，在步驟S103中，第一平面影像IMG1被設定為一右眼影像或一左眼影像，並且取得另一影像之一距離。在第2圖所示之例子中，第一平面影像IMG1係於一第一位置點之處所拍攝，以作為左眼影像，且在本步驟中，亦決定出由第一位置點至第二位置點(即右眼影像所要拍攝之處)之距離D。在步驟S105時，得出對應至此第一平面影像IMG1之一深度圖，並依據該深度圖以及第一平面影像IMG1而合成出一視角合成影像IMG_S。在步驟S107時，一使用者可參考此距離D以及此視角合成影像IMG_S來找出前述之第二位置點；舉例來說，此使用者可使用此單鏡頭影像擷取裝置CAM來確認位於距第一位置點一距離D之處的視角合成影像IMG_S，當藉由此單鏡頭影像擷取裝置CAM所看到的景象幾乎與此視角合成影像IMG_S完全相符時，單鏡頭影像擷取裝置CAM將會通知使用者，以告知此為正確擷取第二平面影像IMG2的位置，亦即，藉著視角合成影像IMG_S之幫助，使用者得以使用單鏡頭影像擷取裝置CAM來找出正確的第二位置點以便取得第二平面影像IMG2。如此一來，前述之第一平面影像IMG與第二平面影像IMG2便可被取得以用於立體影像顯示。
    請參閱第3圖以了解本發明之另一實施例。第3圖為根據本發明立體成像方法之另一實施例之運作示意圖。相較於第2圖，此圖係顯示了一額外之物件OBJ(在本例中，此物件OBJ為站立在原先就顯示於第2圖中之樹木旁的一雪人)。一第一平面影像IMG1’係在一第一位置點處所拍，以及此物件OBJ之影像因而顯示於此第一平面影像IMG1’中，使得一視角合成影像IMS_S’同樣包含有對應於此物件OBJ之一影像；然而，在於一第二位置點處所拍攝之一第二平面影像IMG2’中，此物件OBJ被阻隔了，以致於此物件OBJ之相對應影像並未顯示於第二平面影像IMG2’中。因為第一平面影像IMG1’與第二平面影像IMG2之間並不完全一致(亦即，相差前述之物件OBJ)，使得當第一平面影像IMG1’與第二平面影像IMG2’被用來作立體影像顯示時，將會出現視覺上的不一致。
    為解決前述之問題，請一併參照第4圖與第5圖。第4圖所示為本發明基於用於立體影像顯示之一第一平面影像與一第二平面影像之一立體影像增強方法之一實施例的流程圖。第5圖為本發明基於用於立體影像顯示之一第一平面影像與一第二平面影像之一立體影像增強裝置之一實施例的方塊示意圖。請注意到，倘若實質上可達到相同的結果，並不一定需要遵照第4圖所示之流程中的步驟順序來依序進行，其他步驟亦可能插入其中。本流程包含有以下步驟：
    S401：產生一第一平面影像以及一第二平面影像；
    S403：偵測該第一平面影像與該第二平面影像間之一差異；以及
    S405：依據所偵測到之該差異來修正(modify)該第一平面影像與該第二平面影像之間的其中一個平面影像。
    在步驟S401中，一第一平面影像IMG1’與一第二平面影像IMG2’係由單鏡頭影像擷取裝置CAM分別於一第一位置點以及一第二位置點所拍攝，且這兩個平面影像均被輸出至一立體影像增強裝置500。此立體影像增強裝置500包含有一偵測電路510以及一修正電路520。偵測電路510係偵測第一平面影像IMG1’與第二平面影像IMG2’之間的差異。在步驟S403中，偵測電路510係處理第一平面影像IMG1’與第二平面影像IMG2’，以取得第一平面影像IMG1’與第二平面影像IMG2’間之差異。在本實施例中，偵測電路510包含有：一深度單元(depth unit)511、一合成單元(synthesizing unit)512以及一比較單元(comparing unit)513。深度單元511會取得對應於第一平面影像IMG1’之深度圖。合成單元512會依據深度圖以及第一平面影像IMG1’來取得一視角合成影像IMGS’。比較單元513會比較視角合成影像IMGS’與第二平面影像IMG2’以得出差異，在本實施例中，此差異係為前述之物件OBJ。如第3圖所示，物件OBJ係顯示於第一平面影像IMG1’以及前述之視角合成影像IMGS’中，但其並未出現在第二平面影像IMG2’，因此，非常明顯地，視角合成影像IMGS’與第二平面影像IMG2’之間最大的差異之處即在於物件OBJ之影像，也就是說，物件OBJ會被偵測為差異。
    接著，在步驟S405中，第一平面影像與第二平面影像之中所選出的其中一個平面影像會被修正電路520依據前述所偵測到之差異來進行修正，為達到此目的，可選擇性地從第一平面影像IMG1’之中移除對應於物件OBJ的影像，或者是把對應於物件OBJ之影像加入至第二平面影像IMG2’之中。修正電路520包含有一物件插入單元(object insertion unit)521以及一物件移除單元(object removal unit)522，以分別執行不同的操作。物件插入單元521係用以由視角合成影像IMGS’取得對應於所辨識出之物件OBJ的物件影像(object image)，並且使用此物件影像來對第二平面影像IMS2’進行修正。物件移除單元522係用以由第一平面影像IMG1’移除對應於所辨識出之物件OBJ的物件影像。第5圖所示之修正電路520僅為一較佳實施例，在其他的實施例中，修正電路亦可只包含物件插入功能與物件移除功能之其中一種功能，且前述之設計變化亦隸屬於本發明的保護範疇之中。
    請參照第6圖以更加了解本發明之立體影像增強方法之運作細節。第6圖所示為本發明物件插入單元的運作示意圖。當使用者選擇將物件OBJ之物件影像加至第二平面影像IMG2’之中，則物件插入單元521便取得對應於所辨識出之物件OBJ(在第6圖中被虛線框起的雪人)之物件影像，並將此物件影像插入至第二平面影像IMG2’中，進而產生修正後之第二平面影像IMG2’_mod，而此修正後之第二平面影像IMG2’_mod因此可與第一平面影像IMG1’一同被用於立體影像顯示。第7圖所示為本發明物件移除單元的運作示意圖。當使用者選擇要移除第一平面影像IMG1’中之物件OBJ的物件影像時，則物件移除單元522便簡單地從第一平面影像IMG1’中移除物件OBJ之影像，進而產生修正後之第一平面影像IMG1’_mod，而修正後之第一平面影像IMG1’_mod因此即可與第二平面影像IMG2’一同作為立體影像顯示之用。如此一來，無論使用者選擇將差異移除或插入，最後所產生的立體影像顯示對於人類視覺觀感而言都將更加自然。
    總結來說，本發明係提供了可經由使用一單鏡頭影像擷取裝置來產生立體影像之立體成像方法；此外，本發明亦提供了基於平面影像之一立體影像增強方法與相關之一立體影像增強裝置。藉由本發明立體影像增強方法之協助，於兩個平面影像之中的差異將可被有效補償，並可提供具有更佳品質的立體影像顯示。
    以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
    500．．．立體影像增強裝置
    510．．．偵測電路
    511．．．深度單元
    512．．．合成單元
    513．．．比較單元
    520．．．修正電路
    521．．．物件插入單元
    522．．．物件移除單元
    第1圖為根據本發明之一實施例而使用單鏡頭影像擷取裝置之立體成像方法的流程圖。
    第2圖為本發明立體成像方法之一實施例的運作示意圖。
    第3圖為本發明立體成像方法之另一實施例的運作示意圖。
    第4圖為本發明基於用於立體影像顯示之第一平面影像與第二平面影像之立體影像增強方法之一實施例的流程圖。
    第5圖為本發明基於用於立體影像顯示之第一平面影像與第二平面影像之立體影像增強裝置之一實施例的方塊示意圖。
    第6圖為本發明物件插入單元的運作示意圖。
    第7圖為本發明物件移除單元的運作示意圖。
    S101、S103、S105、S107．．．步驟
    权利要求:
    Claims (15)
    [1] 一種使用一單鏡頭影像擷取裝置(single-lens image-capture apparatus)之立體(three-dimensional,3D)成像方法，包含有：使用該單鏡頭影像擷取裝置以取得一第一平面(two-dimensional,2D)影像；取得對應至該第一平面影像之一深度圖(depth map)；依據該深度圖以及該第一平面影像來合成一視角合成影像(view synthesized image)；以及使用該單鏡頭影像擷取裝置以依據該視角合成影像來取得一第二平面影像，其中該第一平面影像以及該第二平面影像係用於立體影像顯示。
    [2] 如申請專利範圍第1項所述之立體成像方法，其中該第一平面影像係由該單鏡頭影像擷取裝置於一第一位置點所取得；以及根據該深度圖以及該第一平面影像以合成該視角合成影像之步驟包含有：依據該視角合成影像以取得不同於該第一位置點之一第二位置點；以及於該第二位置點使用該單鏡頭影像擷取裝置以取得該第二平面影像。
    [3] 如申請專利範圍第1項所述之立體成像方法，另包含有：依據該深度圖來辨識出一物件(object)，其中該物件係完整地顯示於該第一平面影像與該第二平面影像之其中一個平面影像之中，但僅部分地顯示於該第一平面影像與該第二平面影像之另外一個平面影像之中；以及依據所辨識出之該物件以及該視角合成影像來補償該第一平面影像與該第二平面影像之其中一個平面影像。
    [4] 如申請專利範圍第3項所述之立體成像方法，其中依據所辨識出之該物件以及該視角合成影像來補償該第一平面影像與該第二平面影像之其中一個平面影像之步驟包含有：由該視角合成影像取得對應至所辨識出之該物件之一物件影像(object image)；以及使用該物件影像來修正該第二平面影像。
    [5] 如申請專利範圍第3項所述之立體成像方法，其中依據所辨識出之該物件以及該視角合成影像來補償該第一平面影像與該第二平面影像之其中一個平面影像之步驟包含有：由該第一平面影像中移除對應於所辨識出之該物件之一物件影像。
    [6] 一種基於用於立體影像顯示之一第一平面影像以及一第二平面影像之立體影像增強方法，包含有：偵測該第一平面影像與該第二平面影像間之一差異(discrepancy)；以及依據所偵測到之該差異來修正該第一平面影像與該第二平面影像之其中一個平面影像。
    [7] 如申請專利範圍第6項所述之立體影像增強方法，其中偵測該第一平面影像與該第二平面影像間之該差異的步驟包含有：取得對應該第一平面影像之一深度圖(depth map)；依據該深度圖以及該第一平面影像以取得一視角合成影像；以及比較該視角合成影像以及該第二平面影像以取得該差異。
    [8] 如申請專利範圍第7項所述之立體影像增強方法，其中比較該視角合成影像以及該第二平面影像以取得該差異之步驟包含有：依據由該深度圖所辨識出之一物件來取得該差異，其中該物件係完整地顯示於該第一平面影像與該第二平面影像之其中一個平面影像之中，但僅部分地顯示於該第一平面影像與該第二平面影像之另外一個平面影像之中。
    [9] 如申請專利範圍第8項所述之立體影像增強方法，其中依據所偵測到之該差異以修正該第一平面影像與該第二平面影像之其中一個平面影像之步驟包含有：經由該視角合成影像以取得對應所辨識出之該物件之一物件影像；以及使用該物件影像來修正該第二平面影像。
    [10] 如申請專利範圍第8項所述之立體影像增強方法，其中依據所偵測到之該差異來修正該第一平面影像與該第二平面影像之其中一個平面影像之步驟包含有：由該第一平面影像中移除對應於所辨識出之該物件之一物件影像。
    [11] 一種基於用於立體影像顯示之一第一平面影像以及一第二平面影像之立體影像增強裝置，包含有：一偵測電路，用以偵測該第一平面影像與該第二平面影像間之一差異；以及一修正電路，耦接至該偵測電路，用以依據所偵測到之該差異來修正該第一平面影像與該第二平面影像之其中一個平面影像。
    [12] 如申請專利範圍第11項所述之立體影像增強裝置，其中該偵測電路包含有：一深度單元，用以取得對應至該第一平面影像之一深度圖；一合成單元，耦接至該深度單元，用以依據該深度圖以及該第一平面影像以取得一視角合成影像；以及一比較單元，耦接至該合成單元，用以比較該視角合成影像以及該第二平面影像以取得該差異。
    [13] 如申請專利範圍第12項所述之立體影像增強裝置，其中該比較單元係依據由該深度圖所辨識出之一物件來取得該差異，而該物件係完整地顯示於該第一平面影像與該第二平面影像之其中一個平面影像之中，但僅部分地顯示於該第一平面影像與該第二平面影像之另外一個平面影像之中。
    [14] 如申請專利範圍第13項所述之立體影像增強裝置，其中該修正電路包含有：一物件插入單元，用以經由該視角合成影像以取得對應至所辨識出之該物件之一物件影像，以及使用該物件影像來修正該第二平面影像。
    [15] 如申請專利範圍第13項所述之立體影像增強裝置，其中該修正電路包含有：一物件移除單元，用以由該第一平面影像中移除對應於所辨識出之該物件之一物件影像。
    类似技术:
    公开号 | 公开日 | 专利标题
    JP4657313B2|2011-03-23|立体画像表示装置および方法並びにプログラム
    CN108886611B|2021-07-09|全景立体视频系统的拼接方法和装置
    JP5917017B2|2016-05-11|画像処理装置及びその制御方法、並びにプログラム
    US20160295194A1|2016-10-06|Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
    JP2010278878A|2010-12-09|立体画像表示装置及びその表示画像切替方法
    WO2017049776A1|2017-03-30|一种可透视型智能眼镜及其透视方法
    WO2015048694A2|2015-04-02|Systems and methods for depth-assisted perspective distortion correction
    KR20150084807A|2015-07-22|파노라마 혹은 스테레오스코픽 이미지의 스트림을 캡처 및 구성하기 위한 방법 및 장치
    TW201351959A|2013-12-16|立體全景影像合成方法及其相關之立體攝影機
    CN106254854B|2018-12-25|三维图像的获得方法、装置及系统
    JP2008160382A|2008-07-10|立体表示用ファイルの生成方法および装置並びに表示制御方法および装置
    JP2021525032A|2021-09-16|画像処理方法、装置及び３次元結像システム
    US20170035268A1|2017-02-09|Stereo display system and method for endoscope using shape-from-shading algorithm
    US9591284B2|2017-03-07|Visually-assisted stereo acquisition from a single camera
    JP6016180B2|2016-10-26|画像処理方法及び画像処理装置
    TWI466535B|2014-12-21|使用單鏡頭影像擷取裝置之立體成像方法以及基於用於立體影像顯示之第一、第二平面影像之立體影像增強方法與立體影像增強裝置
    JP2012216939A|2012-11-08|画像処理装置、画像処理方法及びプログラム
    TWI536832B|2016-06-01|用於嵌入立體影像的系統、方法及其軟體產品
    JP5351878B2|2013-11-27|立体画像表示装置および方法並びにプログラム
    JP5891645B2|2016-03-23|撮像装置およびプログラム
    JP4249187B2|2009-04-02|立体映像処理装置並びにそのプログラム
    KR101718309B1|2017-03-22|색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
    TWI538651B|2016-06-21|Stereo visualization system and method of endoscopy using chromaticity forming method
    Cho et al.2013|Stereo panoramic image stitching with a single camera
    AU2013308155B2|2019-02-07|Method for description of object points of the object space and connection for its implementation
    同族专利:
    公开号 | 公开日
    US20130002811A1|2013-01-03|
    TWI466535B|2014-12-21|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    IL150131A|2002-06-10|2007-03-08|Rafael Advanced Defense Sys|A method for turning a series of monoscopic images into a series of stereoscopic images|
    US8970680B2|2006-08-01|2015-03-03|Qualcomm Incorporated|Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device|
    TW200826686A|2006-12-11|2008-06-16|Univ Nat Kaohsiung Applied Sci|Method of authentication and restoration for images|CN106791782A|2016-12-19|2017-05-31|北京星辰美豆文化传播有限公司|基于单摄像头的立体图像的拍摄方法、装置和电子设备|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    US13/170,201|US20130002811A1|2011-06-28|2011-06-28|Three-dimensional imaging method using single-lens image-capture apparatus and three-dimensional image enhancement method based on two-dimensional images|
    [返回顶部]